Geometric deep learning enables 3D kinematic profiling across species and environments

Geometric deep learning enables 3D kinematic profiling across species and environments | nature methods (2021)

Timothy W. Dunn, Jesse D. Marshall, Kyle S. Severson, Diego E. Aldarondo, David G. C. Hildebrand, Selmaan N. Chettih, William L. Wang, Amanda J. Gellis, David E. Carlson, Dmitriy Aronov, Winrich A. Freiwald, Fan Wang & Bence P. Ölveczky

https://doi.org/10.1038/s41592-021-01106-6

hl.icon

動物の３次元的な行動を適切に定量化することは、心理学、神経科学、生態学において重要

しかし、現行の定量化手法には以下のような問題点がある

深度カメラを用いた姿勢推定

動物の各部位レベルでの行動（例えば手の動きとか）まで追うことができない

Mapping Sub-Second Structure in Mouse Behavior | Neuron (2015)

MoSeq(Motion Sequencing)

2DCNNを用いた各部位のトラッキング

2DCNNは3Dにおける姿勢の情報を持っていない

異なるアングルの視点を組み合わせることが出来ない

DeepLabCut: markerless pose estimation of user-defined body parts with deep learning | nature neuroscience (2018)

Fast animal pose estimation using deep neural networks | nature method (2019)

Naa_tsure.iconあらかじめカメラのキャリブレーションをしたデータを与えても出来ない？

3D Reconstruction with Stereo Images - Part1: Camera Calibration

一応3Dに適用させる方法はある

Using DeepLabCut for 3D markerless pose estimation across species and behaviors

この場合は

複数アングルで行動を撮影

ネットワークを用いて各アングルで体の部位をトラッキング

トラッキングした点を複数アングルでマッチングさせて姿勢推定

ネットワーク自体は3次元的な情報を持ち合わせていないので、occlusionに弱い

この論文が提案する手法DANNCEは、ネットワークが3次元的な情報を保持することで正確な姿勢推定が可能

この手法では、

複数アングルで行動を撮影

複数アングルのキャリブレーションを行い、3次元構造を推定

推定した3次元構造を元に各アングルの動物付近の2Dのpixelを３Dのvoxelに割り当てる

3Dのvoxelを入力として畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)で姿勢推定

ネットワークの学習には教師データとしてラットのモーションキャプチャーを用いた姿勢を使用

Naa_tsure.iconネットワークそのものが3次元的な位置関係の情報を保持しているのでocclusionに強い

深層学習(Deep Learning; DL)

hl.icon

Dunn, T.W., Marshall, J.D., Severson, K.S. et al. Geometric deep learning enables 3D kinematic profiling across species and environments. Nat Methods 18, 564–573 (2021).